Amazon Connectのダッシュボードで会話型AIボットのパフォーマンスがモニタリング可能になりました #AWSreInvent
2024.12.10はじめに
Amazon Connectのフローパフォーマンスダッシュボードで、会話型AIボットのパフォーマンスをモニタリングできるようになりました。
フローパフォーマンスダッシュボードは、「ドロップイン数（放棄呼数）」などの重要な指標を確認できるフロー関連のダッシュボードです。このダッシュボードは無料で利用できます。
今回のアップデートでは、フローパフォーマンスダッシュボードでAmazon LexおよびQ in Connectボットのパフォーマンスをモニタリングできるようになりました。
別のアップデートでは、ConnectコンソールからLex および Q in Connect ボットを修正できるようになりました。
そのため、「ボットを作成しConnectフローに導入後、ダッシュボードでボットのパフォーマンスを分析し、ボットの精度を向上させるための改善を行う」までを、Connectコンソールで完結できます。
ConnectコンソールからLexボットを作成・修正できるアップデートについては、以下の記事をご確認ください。
確認してみる
Amazon Connectの問い合わせフローから、以下の2点を有効化します。
- [Amazon Connect 管理ウェブサイトで Lex ボット管理を有効にする]
- [Amazon Connect 管理ウェブサイトでボット分析とトランスクリプトを有効にします。]
Connectコンソール画面で、サイドメニューの「分析と最適化」→「ダッシュボードとレポート」→「フローパフォーマンスダッシュボード」を選択すると、ダッシュボードを確認できます。
デフォルトでは、このダッシュボードには直近8時間のデータが表示されます。また、前の8時間との比較（ベンチマーク期間）も行われます。
今回のアップデートで確認できるようになったボットのグラフやチャートは、私の場合、電話をかけてからダッシュボードに反映されるまでに10分程度かかりました。
一方、ボットに関係のないフローのグラフなどは、電話をかけた直後に即反映されました。
今回追加された以下の4つの項目をそれぞれ確認します。
- 失敗したボットインテント
- ボットの会話と成功率
- ボットの会話
- ボットインテント
失敗したボットインテント
失敗したボットインテント（表示：失敗したボットインテントの Movers と Shakers）は、ベンチマーク期間と比較して、失敗率の変化率が高い順番でボットインテントを表示します。
例えば、あるインテントの現在の期間における失敗率が10%で、前の期間が5%の場合、そのインテントの失敗率の変化率は100%になります。
ベンチマーク期間と比較できなかった（比較材料がない）場合
ドキュメントの引用画像
変化率（日本語表示では「変更%」）がプラスの場合、ボットの成功率が高まり、精度が改善されていることを示します。
ボットをクリックすると、ボットの設定画面に遷移します。ここで改善するための修正等が可能です。
ボットの会話と成功率
ボットの会話と成功率は、指定された期間におけるボット会話の数（青いバー）とボット会話成功率（赤い線）を、15分、日、週、月で区分けて表示します。
異なる時間範囲の間隔を設定するには、以下の画像に示されている「間隔」を選択します。
ドキュメントの引用画像
ボット会話成功率（赤い線）が時間経過とともに高くなっていくと、ボットが改善されていることになります。
ボットの会話
ボットの会話は、選択された時間範囲にわたって集計されたボットの会話を表示します。
ボットのトグルをクリックすると、ボットが呼び出されたフローごとに詳細を確認できます。
ドキュメントの引用画像
ボットインテント
ボットインテントは、選択された時間範囲にわたって集計されたボットインテントを表示します。ボットのトグルをクリックすると、ボットのインテントごとに確認できます。
インテントのトグルをクリックすると、インテントが呼び出されたフローが表示されます。
ドキュメントの引用画像
最後に
「失敗したボットインテント」や「ボットの会話と成功率」を確認することで、ボットの成功率や精度向上の状況を視覚的に素早く把握できるため、特におすすめです。
注意点として、ダッシュボードで表示可能なデータは過去3か月分までの履歴データである点です。
必要に応じて、定期的にダッシュボードの内容をエクスポートしましょう。
参考
